แท็ก

#speculative decoding

11 บทความ

DeepSeek เปิดซอร์ส DeepInfer เอนจินที่รัน API จริงของตัวเอง (Apache-2.0) — รองรับแค่ V4.1-Flash บน Blackwell SM100 กับ Huawei Ascend 950 และตัดชิ้นส่วนสำคัญอย่าง KV cache และ load balancer ออก
เครื่องมือนักพัฒนา

DeepSeek เปิดซอร์ส DeepInfer เอนจินที่รัน API จริงของตัวเอง (Apache-2.0) — รองรับแค่ V4.1-Flash บน Blackwell SM100 กับ Huawei Ascend 950 และตัดชิ้นส่วนสำคัญอย่าง KV cache และ load balancer ออก

DeepSeek ปล่อย DeepInfer ภายใต้ Apache-2.0 เมื่อ 20 ต.ค. 2026 บอกว่าเป็นเฟรมเวิร์กเดียวกับที่ใช้ให้บริการ V4.1-Flash จริง (155 ล้านล้านโทเคนต่อวันต่อคลัสเตอร์) แต่รุ่นที่เปิดออกมาทำได้แค่ offline inference รองรับโมเดลเดียว ต้องใช้ GPU ตระกูล SM100 หรือ Ascend 950 และไม่มี KV cache store, การแยก prefill/decode กับ load balancer ซึ่งจำเป็นต่อการเปิดเป็นบริการ

· อ่าน 5 นาที
llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)
เครื่องมือนักพัฒนา

llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)

llama.cpp ปล่อย v0.6.0 เมื่อ 5 ต.ค. 2026 (ตรงกับ build b11429) เพิ่ม MTP speculative decoding ให้ Qwen3.8-Flash-Next (decode เร็วขึ้นเฉลี่ย 1.55 เท่าบน DGX Spark) เพิ่มเคอร์เนล Metal สำหรับ Mac ที่ยังไม่มี tensor API ทำให้ DFlash2 บน M3 Ultra เร็วขึ้นจาก 30.2 เป็น 110 tok/s รองรับ GLM-5.3-Flash 320B ทั้งข้อความและภาพ และเปลี่ยน C API มาใช้ llama_batch_ext

· อ่าน 5 นาที
PostHog ปล่อย Jeeves — โมเดลตัดสินใจแบบ Jev ขนาด 9B ที่คิดก่อนตอบ ได้ 0.935 บน JevBench สาธารณะ (Jev 0.866) แต่ต้องแลกกับ latency 3.3 วินาที
โมเดลใหม่

PostHog ปล่อย Jeeves — โมเดลตัดสินใจแบบ Jev ขนาด 9B ที่คิดก่อนตอบ ได้ 0.935 บน JevBench สาธารณะ (Jev 0.866) แต่ต้องแลกกับ latency 3.3 วินาที

PostHog เปิด Jeeves เมื่อ 29 ก.ย. เป็นโมเดลตัดสินใจขนาด 9B บน Qwen3.5-9B ที่เขียน reasoning ก่อนคืนความน่าจะเป็น เทรนด้วย SFT และ CISPO มี diffusion drafter ช่วยเร่ง ได้ 0.889 บนชุด test นอกโดเมน (Jev 0.857) และ 0.865 บน JevBench hard (Jev 0.730) แต่ยังแพ้ Jev ในคำถามเชิงความรู้ และ latency มัธยฐานเพิ่มจาก 0.3 เป็น 3.3 วินาที

· อ่าน 4 นาที
Liquid AI ปล่อย LFM2.5-VL-DSpark — drafter 280M ทำให้ VLM 3B ถอดรหัสเร็วขึ้นสูงสุด 3.13 เท่าบน Mac แต่ภาพยังต้องผ่าน prefill เท่าเดิม end-to-end จึงเร็วขึ้นแค่ 1.3–2.6 เท่า
โมเดลใหม่

Liquid AI ปล่อย LFM2.5-VL-DSpark — drafter 280M ทำให้ VLM 3B ถอดรหัสเร็วขึ้นสูงสุด 3.13 เท่าบน Mac แต่ภาพยังต้องผ่าน prefill เท่าเดิม end-to-end จึงเร็วขึ้นแค่ 1.3–2.6 เท่า

Liquid AI เปิด DSpark drafter สำหรับโมเดลภาพ LFM2.5-VL-3B เมื่อ 24 ก.ย. 2026 ขนาด 280M (เพิ่มหน่วยความจำ 8.9%) ถอดรหัสเร็วขึ้น 2.30–3.13 เท่าบน M5 Max ผ่าน MLX และ 1.57–2.14 เท่าบน M3 Ultra ผ่าน llama.cpp โดยผลลัพธ์ไม่เปลี่ยน รองรับตั้งแต่วันแรกทั้ง llama.cpp, MLX-VLM และ SGLang เพราะ PR ถูก merge ครบแล้ว แต่ใบอนุญาตยังมีเพดานรายได้ 10 ล้านดอลลาร์ ไม่ใช่ "ไม่มีข้อจำกัด" อย่างที่บล็อกเขียน

· อ่าน 4 นาที
Inco Splash — engine รันโมเดลบน Mac ที่ "สร้างรอบโมเดล" รองรับแค่ 2 ตัว แต่ decode Qwen3.8-27B ได้ 74 tok/s เร็วกว่า oMLX 2 เท่า และตอบรอบถัดไปของ agent เร็วกว่า 7 เท่า (Apache-2.0)
เครื่องมือนักพัฒนา

Inco Splash — engine รันโมเดลบน Mac ที่ "สร้างรอบโมเดล" รองรับแค่ 2 ตัว แต่ decode Qwen3.8-27B ได้ 74 tok/s เร็วกว่า oMLX 2 เท่า และตอบรอบถัดไปของ agent เร็วกว่า 7 เท่า (Apache-2.0)

Inco AI ปล่อย Splash engine รันโมเดลบน Mac แบบโอเพนซอร์ส (Apache-2.0) ที่เขียน Metal kernel, draft model DFlash 2 และแผนหน่วยความจำเฉพาะให้ Qwen3.8-27B กับ Qwen3.6-35B-A3B บน M5 Pro 48GB วัดได้เร็วกว่า oMLX 1.7–2 เท่าตอน decode และ 6.6–7.3 เท่าตอนใช้ cache ซ้ำ แต่ตัวเลขทั้งหมดวัดโดย Inco เอง และต้องใช้ M3 ขึ้นไปกับแรม 36GB+

· อ่าน 5 นาที
LFM2.5-DSpark: โมเดล draft ขนาด 300M ที่ทำให้ LFM2.5 เร็วขึ้น 2.7 เท่าโดยข้อความที่ได้ "เหมือนเดิมทุกตัวอักษร" — และลด latency การเรียกทูลลง 57%
โมเดลใหม่

LFM2.5-DSpark: โมเดล draft ขนาด 300M ที่ทำให้ LFM2.5 เร็วขึ้น 2.7 เท่าโดยข้อความที่ได้ "เหมือนเดิมทุกตัวอักษร" — และลด latency การเรียกทูลลง 57%

20 ส.ค. 2026 Liquid AI ปล่อยโมเดล draft สำหรับ speculative decoding ของ LFM2.5 สามขนาด แต่ละตัวราว 300M พารามิเตอร์ — ทำ throughput บน H100 ขึ้นได้ถึง 2.67 เท่า (323→864 tok/s) บน MacBook M4 Max 2.27 เท่า และลด latency การเรียกฟังก์ชันลง 57% โดยเอาต์พุตไม่เปลี่ยนเลย

· อ่าน 6 นาที
ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน
เครื่องมือนักพัฒนา

ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน

3 สิงหาคม 2026 ทีม VIDRAFT เผยแพร่ manifest.json ทั้งไฟล์ของสถิติ verified อันดับหนึ่งใน Fast Gemma Challenge — 510.58 token/วินาที บน NVIDIA A10G ใบเดียว ที่ PPL 2.3930 พร้อมอธิบายทุกปุ่มที่หมุน รวมถึงเหตุผลที่รันเร็วกว่าอย่าง 535.91 TPS ไม่ผ่านการตรวจซ้ำ

· อ่าน 7 นาที
รัน Kimi K3 (2.8T) บน AMD MI355X ได้ 952 tok/s ต่อโหนด — Wafer ชี้ประสิทธิภาพต่อดอลลาร์ชนะ B300 ทั้งที่ throughput ต่ำกว่า 1.65 เท่า
เครื่องมือนักพัฒนา

รัน Kimi K3 (2.8T) บน AMD MI355X ได้ 952 tok/s ต่อโหนด — Wafer ชี้ประสิทธิภาพต่อดอลลาร์ชนะ B300 ทั้งที่ throughput ต่ำกว่า 1.65 เท่า

31 กรกฎาคม 2026 Ian Ye จาก Wafer เผยผลรัน Kimi K3 ขนาด 2.8T พารามิเตอร์บน AMD MI355X 8 ใบได้ 952 tok/s ต่อโหนด และ 118 tok/s ต่อสตรีม — แพ้ B300 ด้าน throughput รวมราว 1.65 เท่า แต่ชนะด้าน tok/s ต่อดอลลาร์ 48 ต่อ 33 พร้อมเล่าบั๊ก ROCm สองตัวที่ต้องแก้เองและวิธีแก้ที่สั้นกว่าที่คิด

· อ่าน 7 นาที
DeepSeek ปล่อย DSpark — Speculative Decoding ที่เร่ง DeepSeek-V4 เร็วขึ้น 60–85% ต่อผู้ใช้ พร้อมเปิดโค้ด DeepSpec ใต้ MIT
เครื่องมือนักพัฒนา

DeepSeek ปล่อย DSpark — Speculative Decoding ที่เร่ง DeepSeek-V4 เร็วขึ้น 60–85% ต่อผู้ใช้ พร้อมเปิดโค้ด DeepSpec ใต้ MIT

DeepSeek เปิดตัว DSpark เฟรมเวิร์ก speculative decoding ที่เร่งความเร็วการสร้างโทเคนต่อผู้ใช้บน DeepSeek-V4-Flash ขึ้น 60–85% และ V4-Pro 57–78% เทียบกับ MTP-1 พร้อมเปิดโค้ด DeepSpec สำหรับเทรน/ประเมิน drafter ใต้ไลเซนส์ MIT

· อ่าน 5 นาที
vLLM v0.22.0 — เซิร์ฟเวอร์ inference ตัวหลักรองรับ DeepSeek V4 เต็มตัว, NVFP4 บน Blackwell และ MTP speculative decoding
เครื่องมือนักพัฒนา

vLLM v0.22.0 — เซิร์ฟเวอร์ inference ตัวหลักรองรับ DeepSeek V4 เต็มตัว, NVFP4 บน Blackwell และ MTP speculative decoding

vLLM ปล่อยเวอร์ชัน 0.22.0 ยกเครื่องการรองรับ DeepSeek V4 เป็นแพ็กเกจเฉพาะ เพิ่ม NVFP4 fused MoE บน Blackwell, MTP speculative decoding และ KV cache offloading หลายชั้น รวม 459 commit จาก 230 ผู้ร่วมพัฒนา

· อ่าน 5 นาที
llama.cpp ผสาน Multi-Token Prediction — speculative decoding ในตัวที่เร่ง inference โลคอลเกิน 2 เท่า กระเพื่อมทั้งระบบนิเวศ GGUF
เครื่องมือนักพัฒนา

llama.cpp ผสาน Multi-Token Prediction — speculative decoding ในตัวที่เร่ง inference โลคอลเกิน 2 เท่า กระเพื่อมทั้งระบบนิเวศ GGUF

llama.cpp ผสาน PR #22673 เพิ่ม Multi-Token Prediction (MTP) speculative decoding เข้า master ทำให้โมเดลทำนายหลายโทเคนต่อรอบ เร่ง throughput เกิน 2 เท่าบนฮาร์ดแวร์ผู้บริโภค และส่งผลต่อทั้งระบบนิเวศที่สร้างบน llama.cpp

· อ่าน 4 นาที